#AI SSD
從HBM到SSD:被嚴重低估的AI儲存長周期邏輯
最近市場的不確定性很高,確實也很難做。目前市場上共識性比較強的就是光和儲存,應該說光的共識性是遠大於儲存的,儲存現在已經有很多的爭議了,上周儲存的回呼也比較大,即便市場都在解釋Google的那個TurboQuant論文,還是沒能擋住閃迪、三星、美光和鎧俠的大幅回呼, 甚至花旗還給出了下調美光的分析報告。這些都是AI Memory長周期的一部分,我們只需要知道當前Memory依舊稀缺,AI需求依舊旺盛即可。這篇文章,我們來看下,為什麼這波儲存周期被低估了。一個重度使用者每天要“吃掉”多少儲存先從最基本的問題開始:當一個程式設計師每天用 Claude Code 或者 Cursor 瘋狂寫程式碼時,背後的資料中心到底需要準備多少儲存空間?行業裡有個不成文的定義,日均消耗 1000 萬 tokens 的使用者,被稱為 Power User——重度使用者。這個數字聽起來很抽象,但換算成儲存需求就具體多了。整個計算鏈條是這樣的:1000 萬 tokens 對應大約 40MB 的純文字資料,這只是起點。這些文字需要被轉換成向量嵌入索引,用於 RAG 檢索,這一步會膨脹到 30GB 左右。再加上會話狀態、agent 執行日誌,以及出於安全考慮的三副本複製機制,最終一個重度使用者每天會產生 50 到 100GB 的 SSD 儲存需求。普通使用者呢?日均 100 萬 tokens,對應的儲存需求大約是 12GB,恰好是重度使用者的十分之一。這個比例關係在訪談中被反覆驗證,基本是個行業共識。有意思的地方在於並行場景。很多人的第一反應是:10 個重度使用者就是 500GB 到 1TB,100 個使用者就是 5TB 到 10TB。但實際情況要複雜一些。AI 系統通過“共享倉庫索引”機制,可以讓多個使用者共享基礎資料,只為每個使用者單獨儲存會話狀態。所以並行使用者的儲存需求增長不是線性的,而是被最佳化過的。但這個最佳化空間也是有限的。當 token 總需求持續上升,當越來越多的應用從單一 agent 變成多 agent 協作,儲存壓力就會快速累積。一個簡單的查詢,在 Claude Code 這樣的工具裡,可能會同時呼叫 4 到 5 個 agent,一個負責寫程式碼,一個負責審查,一個負責測試,一個負責最佳化。每個 agent 都有自己的狀態儲存需求,這就是為什麼程式設計 agent 的儲存消耗遠超普通對話應用。多模態時代的儲存爆炸如果說文字程式設計已經讓儲存需求翻了好幾番,那多模態應用帶來的衝擊就是另一個量級了。從文字到音訊,儲存需求增長 10 倍;從音訊到視訊,再增長 100 倍。一分鐘的視訊內容,儲存體積是同樣時長文字的 10000 倍。這不是危言聳聽。想想 Claude 的截圖分析功能,想想各種 AI 視訊生成工具,想想那些正在路測的自動駕駛系統。這些應用產生的資料,不僅體積龐大,而且全都是熱資料,必須隨時可以被快速讀取。這些資料能不能放到便宜的機械硬碟(HDD)裡?答案是不能。至少在推理場景下不能。HDD 只適合冷歸檔,比如你一年前在 Claude Code 裡問過的某個問題,如果長期不再訪問,系統可能會把它挪到 HDD。但當你需要呼叫這段歷史記錄時,就會明顯感覺到載入延遲。所有需要即時響應的資料,都必須放在 SSD 上。這是 AI 推理和傳統資料儲存的本質區別。儲存的四層金字塔如果把 AI 系統的儲存比作人的記憶系統,那麼它有四層結構,每一層都有自己的角色。最頂層是 HBM,高頻寬記憶體,直接焊在 GPU 上。這是最貴、最快、容量最小的那一層,專門用來儲存模型權重。一顆 H100 GPU 有 90GB 的 HBM,8 顆加起來也就 800GB 左右。這就是 AI 系統的“工作記憶”,處理眼前任務的核心空間。第二層是 DRAM,也就是伺服器記憶體。它的容量通常是 HBM 的 4 到 5 倍,主要用來儲存 KV cache——那些在對話過程中需要頻繁呼叫,但又不至於佔用 GPU 核心空間的資料。這是“短期記憶”,你今天跟 AI 說過的話,大機率就存在這裡。第三層是 SSD,容量從 1TB 到 15TB 不等,取決於伺服器配置。這是“長期記憶”,用來儲存 RAG 檢索需要的知識庫、使用者的歷史會話、agent 的執行狀態。雖然速度比 DRAM 慢,但容量大、成本相對可控,是推理場景下的主力儲存。第四層是 HDD,只在訓練資料歸檔和冷備份場景下出現。在推理環節,它基本是隱形的。一個兆參數的模型,如果用 INT4 精度運行,需要 500GB 的 HBM、700 到 800GB 的 DRAM,以及 5TB 的 SSD。這套配置可以跑到 1000 tokens 每秒的推理速度。至於這 1000 tokens/s 怎麼分配,可以是 1000 個使用者每人 1 token/s,也可以是 10 個使用者每人 100 tokens/s,完全取決於應用場景。這裡順便提一下 DeepSeek 的 engram 方法和 Google 的 TurboQuant 技術。它們的核心思路是把一些靜態的事實性知識從 DRAM 挪到 SSD,或者把 KV cache 壓縮 4 到 6 倍,從而釋放更多的 HBM 和 DRAM 空間。但都是Jevons 悖論,已經有很多人解釋過了,這裡不再贅述。200 到 300EB 的需求從那裡來現在我們把視角拉到整個行業。根據JPM的資料,2026 到 2027 年,全球超大規模雲服務商(Hyperscaler)的 SSD 需求預計會達到 200 到 300 EB。這是個什麼概念?如果按照前面算的重度使用者每天 100GB 來估算,200EB 可以支援 200 萬個重度使用者持續工作 1000 天。當然實際需求的構成要複雜得多。200 到 300EB 可以拆成下面幾個部分:訓練檢查點佔了 50% 到 60%。大模型訓練動輒幾個月,中間需要不斷保存 checkpoint,防止訓練中斷後從頭再來。這些 checkpoint 檔案體積驚人,而且必須用 SSD 儲存,因為恢復訓練時需要快速載入。RAG 資料湖佔 10% 到 15%。越來越多的企業開始把自己的知識庫接入 AI 系統,這些資料需要被向量化、索引化,然後儲存在高速儲存裡,隨時準備被檢索呼叫。剩下的部分,一部分是資料複製和安全備份(通常是三副本機制),一部分是多模態推理狀態——這是增長最快的那塊。更值得關注的是 AI 在整個 Memory 市場中的佔比變化。2023 年,AI 相關需求只佔 DRAM 總市場的 9%,到 2026 年這個數字會飆升到 37%,2028 年預計達到 53%。NAND 快閃記憶體的趨勢類似,從 2023 年的 2% 增長到 2026 年的 32%,2028 年預計 41%。換句話說,AI 正在從一個邊緣應用場景,變成 Memory 行業的主導力量。按照JPM的資料:2024 到 2028 年,AI DRAM 的價值 TAM(Total Addressable Market)年複合增長率是 105%,而非 AI DRAM 只有 51%。這是兩倍的增速差距。市場可能低估了幾個供給側的約束因素。比如 fab廠的物理空間限制,擴產不是想擴就能擴的;比如 HBM 的損耗率,每一代工藝升級都會帶來良率挑戰;比如 agent 應用的爆發,可能會帶來超預期的儲存需求;比如物理 AI(機器人、自動駕駛)的模型訓練和部署,需要的儲存量遠超純軟體 AI。從更長的時間維度看,AI 對 Memory 行業的改變不只是需求量的增長,更是商業模式的轉型。過去 Memory 是典型的 commodity(大宗商品),價格隨供需周期劇烈波動,廠商沒有定價權。但現在 HBM、SOCAMM、eSSD 這些產品越來越定製化,需要和客戶深度繫結,聯合設計,這就從 commodity 變成了 customized solution(定製化解決方案)。這種轉變如果能夠持續,Memory 廠商的利潤率中樞會被抬升,周期波動的幅度會被熨平,估值體系也會隨之重構。這才是這輪 AI 浪潮對 Memory 行業最深層的影響。最後放一個今天“HBM之父”的觀點,當然可能由於屁股決定腦袋,他的觀點比較激進,僅供大家參考。 (傅里葉的貓)
重磅!美光最新突破!
在退出消費級記憶體和固態硬碟(SSD)市場之後,美光把重點轉向了企業級市場,尤其是在人工智慧(AI)領域加大了投入。當地時間3月3日,美光宣佈推出業界首款單條256GB SOCAMM2記憶體模組,已向客戶啟動出樣及出貨。該產品搭載全球首款單晶片32Gb LPDDR5X DRAM顆粒,實現儲存技術新突破。SOCAMM2 是一種專為資料中心、高性能計算和人工智慧設計的低功耗記憶體模組。它基於 LPDDR5/5X 的標準,結合了 CAMM 的模組化設計,未來還有望支援 LPDDR6。這個技術最大的優點就是省電、節省空間,而且維護起來也方便。它正好填補了 HBM(高頻寬記憶體)和傳統 DDR 之間的性能和成本空缺。相較前代最高容量192GB SOCAMM2,該產品容量提升約三分之一。在8通道單路伺服器中,可支援2TB系統記憶體配置,適配12通道雙路伺服器時更可拓展至6TB系統容量,助力AI伺服器輕鬆處理超長上下文窗口與複雜推理任務。美光還表示,在處理長文字的大型語言模型推理任務時,他們讓第一個字生成的時間快了2.3倍。而在單獨使用CPU的應用中,能效提升了最多3倍。目前美光正與輝達緊密合作開發下一代記憶體解決方案,輝達下一代AI超級計算平台Vera Rubin將成為首批採用該記憶體標準的產品之一。該記憶體模組計畫在GTC 2026大會上正式展出。 (半導體技術天地)
AI儲存革命,效能提升十倍專用SSD,輝達已參與研發
【全球儲存觀察 | 科技熱點關注】這個消息在去年冬天就已經出來了!輝達攜手儲存巨頭,瞄準的不僅是地面資料中心,更是未來的太空計算需求。具體情況簡單是這樣的,輝達與韓國SK海力士以及台灣的群聯電子合作,共同開發一種被稱為“AI SSD”的全新固態硬碟。據稱AI SSD性能將達到當前AI伺服器所用SSD的十倍以上,有望突破現有AI推理運算中的關鍵瓶頸。這一項目的內部代號為“Storage Next”(下一代儲存)。然而,其目標不僅是提升地面資料中心的效率,也為未來的太空資料中心和月球備份節點等高可靠性應用提前佈局。如此前瞻,令人驚豔不?!影響AI SSD研發的關鍵,不是別的,而是產業聯盟輝達、SK海力士和群聯電子聯手開發AI專用固態硬碟的消息一經傳開,引發業內朋友廣泛關注與討論。大家關注的重點就是AI SSD並非簡單的性能升級,而是針對AI推理任務進行的架構性革新。這一合作集合了圖形處理器巨頭、儲存晶片領軍者和控製器設計專家,三方分工明確!輝達提供AI工作負載需求與系統架構設計,SK海力士負責NAND快閃記憶體核心技術與製造,群聯電子則貢獻其企業級SSD控製器技術。“Storage Next”技術指標方面,性能目標是達到1億IOPS(每秒輸入輸出操作次數),這比當前的企業級固態硬碟性能提高了約十倍。從原型到商用的路線圖,開發處理程序怎樣呢?據說SK海力士已經出來了AI SSD的原型產品,但是我還沒有看到SK海力士向業界展示這項技術的初步成果,如果有知道更多內幕進展的朋友,可以空了分享一下。不過,在原型展示後,預計將有約一年的測試和最佳化期,重點驗證其在真實AI推理場景中的表現和可靠性。然後走向量產商用的方向上,各方目標是在2027年前後實現AI SSD的規模化量產和商業部署,屆時將開始實際應用於AI伺服器和資料中心。後續隨著產品成熟,輝達預計將逐步在其AI伺服器平台中整合這一新型儲存解決方案,形成完整的AI計算-儲存生態。填補“記憶體牆”與“儲存牆”之間的空白,找到架構突破口這款AI SSD最核心的創新在於其系統定位,它被設計為位於傳統記憶體與儲存之間的“類記憶體層”,在AI推理架構中承擔關鍵的資料緩衝角色。隨著AI模型參數規模的急劇膨脹,推理過程中需要即時調取海量資料,傳統的“記憶體-儲存”分層架構已顯疲態。一方面,高頻寬記憶體供給有限且價格昂貴。另一方面,傳統SSD雖然容量巨大,但延遲與IOPS表現不足以支援即時AI推理需求。AI SSD的出現正是為瞭解決這一兩難境地。它在系統中承擔了高效的資料預取和暫存功能,能夠大幅減少GPU等待資料的時間,從而提升整體推理效率。對於台灣的半導體產業而言,這次合作具有特殊意義。群聯電子加入AI SSD開發,是台灣記憶體業首度參與輝達新記憶體規格制訂,被視為產業的新里程碑。在此之前,台灣在DDR5、高頻寬記憶體等AI用高端儲存領域參與度有限,此次能夠進入核心開發圈,標誌著技術實力的認可和產業地位的提升。群聯之所以能獲得這個機會,可能主要得益於其在企業級與高性能儲存市場的長期深耕,其PCIe Gen5等級產品已能滿足高頻寬、低延遲的AI推理需求。值得注意的是,群聯的儲存方案已達到太空應用水準,曾隨SpaceX任務進入太空,其可靠性和耐用性已獲實際驗證。顯然,這也解釋了為何輝達會考慮其在太空資料中心應用方面的潛力。企業級SSD需求爆發的背後,驅動產業生態加速進化全球儲存觀察分析認為,AI伺服器對儲存的要求,正在重塑整個企業級SSD市場。雲服務商及大型AI企業對儲存裝置的需求持續上升,已使NAND快閃記憶體供應鏈承受較大負擔。據產業相關分析指出,AI伺服器中NAND硬碟的價值比重大約只佔2%,但這一比例隨著AI專用儲存的出現可能會發生顯著變化。從地域市場看,中國在AI基礎設施方面的投入尤為顯著。以2025年某一季度為例,阿里巴巴資本支出達到人民幣318億元,環比增長80%,並宣佈未來3年在雲和AI基礎設施上的投入將超過過去10年的總和。市場預測顯示,2026年中國企業級SSD市場規模有望達到人民幣669億元,2022-2026年復合年增長率約25%。毋庸置疑,這一增長很大程度上是由AI驅動的基礎設施建設所帶動。NAND市場面臨新壓力,供應鏈進化也將加速若AI SSD未來大規模部署,NAND市場可能出現類似當前DRAM的供應緊張局面。雲服務商與大型AI企業對儲存裝置的需求持續上升,已使NAND快閃記憶體供應鏈承受較大負擔。目前,支援AI推理的基礎設施投入正迅速增長,正在對半導體產業鏈結構產生深遠影響。在DRAM合約價格持續上漲的背景下,NAND市場的供需變化趨勢將成為接下來產業關注的重點。從競爭格局看,Solidigm和三星電子在中國企業級SSD市場的佔有率合計超過65%,而中國本土廠商的市場份額低於30%。這種市場格局,有望在AI SSD這一新興賽道上可能會發生改變。從地面到太空的計算藍圖,資料中心的競爭逐漸升空輝達推動AI SSD的發展,不僅是解決地面資料中心面臨的DRAM短缺問題,也著眼於長期的太空探索需求。太空資料中心和月球備份節點等高可靠應用需要效能更高、容量更大、耐用性更強的儲存解決方案,而AI SSD正好符合這些要求。這種前瞻性佈局反映了AI計算基礎設施發展的新趨勢,儲存不再僅僅是資料的靜態倉庫,而是成為計算流水線中動態、智能的參與者。全球儲存觀察分析認為,AI SSD所要求的高耐用、高可靠特性,與未來太空資料中心需求高度重疊,有需求必然就會有供給,有研發並進。群聯已經驗證的太空級可靠性經驗,可能成為其在這一波AI儲存升級中的重要優勢,但是不排除其他儲存控製器晶片廠商下一步將積極參與。儲存與計算的深度融合,潮流奔湧勢不可擋隨著AI計算範式的發展,儲存的角色正在發生根本性轉變。復旦大學的一個研究團隊前段時間開發的“破曉”皮秒快閃記憶體器件,其擦寫速度達到了亞1納秒(400皮秒),與電腦晶片的工作速度相當。這種底層技術的突破,與AI SSD的系統級創新形成了呼應,都指向一個共同的方向。是什麼呢?彌合儲存與計算之間的性能鴻溝,實現更緊密的協同。“破曉”儲存器件的研究者指出,他們同時也在探索儲存器本身具備AI矩陣運算能力的可能性,這暗示了未來儲存裝置可能會承載部分計算功能,進一步打破傳統的計算-儲存的分層分工。不叫AI SSD,叫太空SSD,可好?隨著這項技術從藍圖走向現實,AI計算的瓶頸正從單純的算力不足,轉向資料供給與處理能力的協同挑戰。傳統固態硬碟容量雖大但速度有限,高端記憶體快速卻昂貴稀缺,AI SSD瞄準的正是這兩者間的真空地帶。未來,當宇航員在月球基地呼叫地球上的AI模型,或者自動駕駛車輛即時處理海量環境資料時,他們可能不會意識到,支撐這些智能瞬間的,正是今天這場由輝達、SK海力士和群聯電子共同開啟的AI SSD儲存創新。由此,我又特別想給AI SSD取一個新名字,叫:太空SSD,可好?那麼,在AI SSD道路上,後來者還會有誰?期待中…… (全球儲存觀察)
80%漲價!AI成最大功臣
8月20日,由於人工智慧伺服器對固態硬碟(SSD)的需求飆升,企業級SSD的價格已經上漲了超過80%。為了滿足市場需求,SK海力士和其子公司Solidigm正在加速擴大NAND快閃記憶體的生產規模。 AI熱潮的持續升溫不僅帶動了高頻寬記憶體(HBM)晶片需求的增長,現在也在推動著企業級SSD市場快速發展。由於AI伺服器儲存的資料量呈指數級增長,各企業紛紛搶購大容量SSD,並願意付出高價以確保供應充足。 在AI模型訓練過程中,SSD主要用於儲存模型參數,如權重和偏差等,並建立檢查點以便在訓練中斷後恢復。為了滿足AI訓練過程中的高速資料傳輸和高寫入耐久性的需求,4TB和8TB的三層單元(TLC)SSD成為了優選規格。而在AI推理服務中,SSD則用於調整和最佳化AI模型,即時更新資料以微調推理結果,並儲存用於生成更豐富響應的參考文件和知識庫。隨著視訊和圖像生成資訊的增多,高容量SSD(如16TB及更大容量的TLC/QLC SSD)逐漸成為了AI推理應用的首選。 面對AI伺服器對SSD的強勁需求,上游供應商紛紛加速技術升級和產品開發。他們計畫在2025年進入更高層數的NAND快閃記憶體產品(如2YY/3XX層)的批次生產階段,並推出高達120TB的企業級SSD。這些高密度、高性能的SSD產品不僅能夠儲存更多的資料,還能在AI訓練和推理過程中提供更快速的響應和更高的效率。